Trong Trận Nam Kinh, Khâu bị kẹt lại khi Nam Kinh bị chiếm, và bị ép đi lao động cưỡng bức, nhưng trốn thoát được vào năm sau, rồi được bổ nhiệm Phó tư lệnh Sư đoàn 200 (Quân đội Cách mạng Quốc dân) tinh nhuệ, sư đoàn thiết giáp duy nhất của Trung Hoa. Năm 1939, Khâu chỉ huy Sư đoàn 22 mới thành lập, thuộc Quân đoàn 5, tham gia trận Côn Lôn Quan, ông cắt đứt đường rút lui của quân Nhật, và giết chết Tư lệnh quân Nhật, Thiếu tướng Masao Nakamura. Nhờ chiến công, ông được thưởng Huân chương Bảo Đỉnh và thăng chức Phó tư lệnh Quân đoàn; ông cũng có biệt danh "Khâu Khùng" từ trận này. Năm 1942, sau một thời gian làm sĩ quan tham mưu cho Tưởng Giới Thạch, ông được thăng hàm Thiếu tướng, bổ nhiệm làm Tư lệnh Quân đoàn 5 và tham gia một số trận đánh với Quân đội Đế quốc Nhật Bản tại Vân Nam. Quân đoàn 5 sau đó chuyển sang đồn trú Côn Minh vào đầu năm 1945 đến khi Thế chiến II kết thúc.